PersonaForge: Realistic Multi-Turn User Simulation for Agentic Systems
PersonaForge：真实多轮用户模拟与 Agent 训练评估
🧭 Agent 用户模拟 · 多轮交互训练 ★ 深度解读
Peking University · Xiaomi LLM-Core · The University of Hong Kong · Renmin University of China
构建 SOUL 驱动的真实多轮用户模拟器，从真实查询反向生成 6.3K 训练数据与 138 任务基准，显著提升 Agent 交互效率与任务完成率
📌 工作参考价值（4 点）
- 构建电商导购/客服 Agent 的多轮训练数据时，优先从真实搜索/会话日志的种子 query 出发，用 LLM 反向推断用户画像与 connected memory，而不是随机生成 persona；这样能保留隐藏意图，让模型学会逐步澄清需求。
- 用户模拟器的提示词可采用 SOUL 结构：身份段落 + 抽象行为参数（消息长度、正式度、emoji）+ connected memory 固化 session 事实；避免用具体 utterance 示例，防止多样性崩溃。这一设计可迁移到任何对话式推荐/客服的仿真用户。
- 在数据合成 pipeline 中预设三阶段质量控制：生成前检查 persona 一致性，运行时用消息长度阈值（如 1500 字符，真实用户 99.2% 以下）检测角色反转，后处理过滤退化模式；可有效降低合成数据污染。
- 评测多轮推荐/搜索 Agent 时，设计渐进信息披露和嵌入矛盾的任务，并按交互效率、工具适当性、任务完成、回复质量四维打分；论文表明这类数据训练后轮次减少约 20%、无效工具调用大幅下降，同时任务完成率提升，对线上体验直接有益。